Rico: A Mobile App Dataset for Building Data-Driven Design Applications

感想

これはまだ全然ただ作っただけの論文だ。これを使ってどんな分析をしたのか気になる

言語学のコーパスとのアナロジーをするなら、ここから引き出せる認知の仕組みとかがあると面白いよな

作り方

クラウドワーカーにGoogle Playからアプリをダウンロードさせ、使わせる

PCからWebベースで操作するインターフェイスで、画面がストリーミングされていてマウスのクリックやキーボードで操作する

クラウドワーカーがある程度操作した後に、automated agentが網羅的に探索する。automated agentだけだと次に進めない場面がある

when the crawler encounters a interface requiring human input, it replays the interactions that a crowd worker performed on that screen to advance to the next UI state

In total, workers spent 2, 450 hours using apps on the platform over five months, producing 10, 811 user interaction traces. We paid US $19, 200 in compensation, or approximately two dollars to crowdsource usage data for each app.

すげ〜

「Androidアプリ」のように領域指定がある場合はスポンサーがわかりやすくていいな

インタラクションの履歴を採集する

それぞれのUI（おそらく画面のこと）にvectorのアノテーションをつけておくことで、類似したUIレイアウトを探せるようになる

5つのアプリケーションがある

design search

Play Storeからのメタデータ、それぞれのview hierarchiesのメタデータを参照できるようになっているのでテキストで検索できる

UI layout generation

generative modelを作れるよ（これは実際やってるわけではない）

UI code generation

UI画面を構成するAndroid componentの名前も取得できるので、見た目からUIコードを生成できるかもしれないよ（これもやってない）

user interaction modeling

アプリを使っている間のインタラクションのデータも保存している（タップ、スクロールなど + どのUI要素がそのイベントを受け取ったか）

このユーザーがどういう挙動をするか、次ボタンを押すか・決済に進むかなどを予測できるかもしれない

user perception prediction

アプリに対してユーザーがどういう評価を下すか、どういう印象を持つかを予測できるかもしれないよ

Play Storeの評価と組み合わせることで、色と評価の関係がわかるかも

こんな感じのretrievalができる

https://gyazo.com/167a91fa348c582be61b15423f4fb483